Thoạt đầu Từ Thứ đi theo phò tá Lưu Bị, do có tội bỏ trốn nên lấy tên giả là Đan Phúc. Ông đã hiến kế cho Lưu Bị đánh bại tướng của Tào Tháo là Tào Nhân, đánh úp chiếm Phàn Thành. Tào Tháo lập mưu bắt mẹ Từ Thứ, dù Từ mẫu không đồng ý cộng tác nhưng Tào Tháo dùng mưu kế của Trình Dục, bắt chước nét chữ của bà để viết thư dụ Từ Thứ.

Từ Thứ tưởng là thư của mẹ gửi nên đành từ biệt Lưu Bị ra đi. Ông nói hết tên tuổi thật của mình và tiến cử Gia Cát Lượng với Lưu Bị, sau đó đi Hứa Xương. Tam Quốc diễn nghĩa tường thuật việc này trước khi xảy ra trận Đương Dương Tràng Bản mà chính sử nêu. Mẹ Từ Thứ khi thấy con trai đến thì rất tức giận, chửi mắng ông rồi tự vẫn. Từ Thứ biết mình bị lừa, nguyện suốt đời không giúp kế gì cho Tào Tháo.

Vụ việc này được gọi là điển tích "Từ Thứ quy Tào". Sự thực La Quán Trung đã hư cấu 2 tình tiết: Gia Cát Lượng đến với Lưu Bị khi Từ Thứ vẫn chưa sang Tào và mẹ Từ Thứ tự nguyện viết thư cho ông, không cự tuyệt Tào Tháo; thời gian xảy ra việc này sau trận Đương Dương Tràng Bản năm 208.

Tuy nhiên việc Từ Thứ không phục Tào Tháo, không hiến kế gì cho ông ta thì là thật, bởi sau khi sang Ngụy ông không có hoạt động gì nổi bật. Từ Thứ còn xuất hiện một lần nữa trước Trận Xích Bích. Ông biết được Bàng Thống bày kế liên hoàn để lừa Tào Tháo, nhưng ông nhớ lời hứa với Lưu Bị mà không tiết lộ cho Tào Tháo, mà lại theo kế của Bàng Thống bày cho, giả vờ xin Tào Tháo cho về lại phương Bắc để giữ hậu phương. Nhờ đó ông thoát khỏi trận chiến Xích Bích, nơi số lớn quân Tào bị tiêu diệt.